基于强化学习与保形动作集的序列推荐
🧭 RL + Online Conformal 动态候选集 ★ 深度解读
University of Pennsylvania · Washington State University
用 critic gap 打分和在线保形阈值动态裁剪候选集，在不增大 set size 下提升 catalog diversity，并给出有限会话价值界
📌 工作参考价值（4 点）
- 把固定 top-M slate 换成 critic gap 打分 + 在线阈值裁剪：在粗排/召回到精排链路中，用\( g_\theta(s,a)=\max_b \hat Q_\theta(s,b)-\hat Q_\theta(s,a) \) 和阈值 \(\tau_t\) 动态决定候选集，同样 size cap 下能显著提升 catalog diversity 和 ILD，适合新品/长尾曝光和多样性约束场景。
- 阈值更新只需要 binary miss 信号：\( e_t=1\{C_t\cap \tilde A_{\varepsilon,t}=\emptyset\} \)，然后 \(\tau_{t+1}=\tau_t+\eta_t(e_t-\alpha)\)。实现简单、不需要真实 \(Q^*\)，可做成精排后的动态截断层，阈值快更新、critic 慢更新。
- 把“候选集是否包含好 item”和“下游 selector 是否选中好 item”解耦，对应 filtering loss 与 selection loss。业务中不要只看召回命中率；若重排/用户选择会选差，retention 保证没有意义，应分别优化覆盖与选择策略。
- 注意 item-level MDP 条件：如果 reward、退场或 position bias 依赖整个 slate/collection，则必须把 collection 当 action；click/like reward 也不直接等价 session depth。此方法收益主要是曝光多样性提升，不是点击/LTV 全面大幅提升。
CLIFT：基于共形自验证的 Web Agent 训练与测试时扩展
🧭 Web Agent 强化学习与测试时选择 ★ 深度解读
Salesforce AI Research
将昂贵 judge 反馈蒸馏为可认证的验证问题库，训练时做稠密奖励，测试时做无需 judge 的保守轨迹选择
📌 工作参考价值（4 点）
- 把昂贵 judge 反馈蒸馏成可复用的「验证问题库」：每个问题带 URL scope、polarity sign 和 conformal trust weight，训练时用非对称 reward 融合（只加不减，防止 reward collapse），可按 URL 状态做分层优势归一化，明显改善 agent RL 的 credit assignment。推荐/搜索 agent 训练中可借鉴此方式，针对领域定义可验证问题，用 lift 和 conformal 筛选后作为过程奖励。
- 测试时用同一冻结问题库做轨迹选择（CTS）：greedy + diverse retries，自验证器输出结构化证据，保守多数投票默认保留 greedy，无需外部 judge 即可实现 test-time scaling，且能保证不回归。在线推理中可对 agent 轨迹做低风险 reranking，适合预算受限场景。
- 验证知识可与策略解耦：在 open model 上训练的 question bank 可直接迁移到 closed model（GPT-5.5）使用，节省强模型 fine-tune 成本。业务上可先在小模型上构建验证器，再用于大模型推理阶段的选择。
- 工程上采用 CEGAR 循环从 judge rationales 定期挖掘新验证问题，并用 polarity veto 纠正错误标签；Mondrian-ACI 跟踪器按 global/host/URL-path 分层动态校准信任权重，对分布漂移具有拒绝能力，可借鉴到构建自适应质量监控或评估器。
信任引导的决策 Transformer
🧭 离线强化学习 · 决策 Transformer 上下文选择
International Institute of Information Technology Bangalore · IBM Research Bangalore
用模型自身状态预测误差加保形校准筛选可信上下文，再让 critic 选动作，缓解长 rollout 分布漂移
📌 工作参考价值（4 点）
- 在长程 Agent / 对话式推荐中，自回归生成的上下文容易偏离训练分布；可以复用「下一步状态/Token 预测误差」作为 OOD 信号，而不只依赖 reward 或 critic 分数。
- 用 split conformal prediction 在离线验证集上标定预测误差阈值，能获得覆盖率保证，避免人工拍阈值；适合对会话状态转移模型或用户序列模型做在线可信度过滤。
- 先做 trust filtering 再做 value/critic 选择：不要从不可靠 context 生成的动作里用 critic 选高价值动作；应当让 critic 只在可信 context suffix 集合内打分，能降低 OOD 动作风险。
- 对长序列推荐或 Agent 轨迹，可维护多个最近 context suffix，逐段做误差检查，只保留可信历史片段，实现类似软 reset 的上下文控制，避免硬 reset 丢失重要信息。
利用上下文集成统一保形语言任务
🧭 Conformal Prediction 与上下文集成评分
Signal 1 AI · Layer 6 AI
提出 Conformal Relevance 框架，用上下文样例策展与集成构建评分函数，兼顾覆盖与简洁并减少手工提示工程
📌 工作参考价值（4 点）
- 在电商搜索/推荐中需要覆盖与简洁平衡的场景（如搜索摘要、推荐理由生成、广告文案过滤），可直接用 conformal prediction 校准 LLM 评分，自动保证覆盖率，同时优化简洁性，替代手工规则。
- 用历史标注数据策展少量高质量上下文示例，替代逐任务写 prompt 评分函数，降低多类目、多任务场景下的维护成本；示例多样性提升评分鲁棒性。
- 集成多个 LLM 评分或同 LLM 的不同示例组合，利用文中 complementarity condition 判断是否有助于提升最差情况得分，指导工程上选择有效集成方案，用于粗排或候选过滤。
- 在生成式推荐中，若要保证生成内容覆盖关键卖点且不冗余，可借鉴该框架对生成结果做 conformal 筛选，同时用上下文集成提高简洁性判定质量。
多域检索中无标签逐域污染控制及共形风险保证
🧭 共形风险控制 · 多域检索污染保证
Electric Power Research Institute (EPRI)
提出 C3R，一种即插即用的共形控制层，无标签情况下逐域认证污染预算，在最难域上保证污染降低。
📌 工作参考价值（4 点）
- 无标签域污染控制：无需查询时域标注，仅用推断的域后验即可逐域设定污染预算，适合电商多源检索（商品、评价、攻略）中低成本抑制错误域文档。
- 可认证的风险保证：提供有限样本下逐域污染上界的严格证书，且在最差域上保证污染降低而非仅边际平均，适合对权威性/安全性要求高的金融、法规等场景。
- 软降级优于硬级联：软降级策略在相同认证污染水平下比传统校准级联保留更多召回，可直接作为检索后安全层，不破坏原有排序。
- 堆栈冻结与重排器无关：C3R 作为外挂控制层，不改动现有检索和重排模型，迁移成本极低，适合现有搜索推荐系统快速落地。
学会对VLA说什么：几乎无害的视觉语言动作模型引导
🧭 具身智能 · VLA语言引导与安全拒绝 ★ 深度解读
Carnegie Mellon University
交互式搜索语言序列并利用共形预测实现无害化语言引导，显著提升冻结VLA的任务成功率
📌 工作参考价值（4 点）
- 冻结模型的语言层干预：在推荐或对话Agent中，若已有强大的基座模型（如LLM），无需微调模型权重，通过学习一个轻量的语言策略（LFP）在测试时动态改写用户指令或系统提示，即可引导模型行为，避免重训成本。
- 结构化语言空间搜索与蒸馏：通过VLM生成叙述先验，再基于LLM产生局部语义扰动，最后用闭环rollout筛选高奖励序列并蒸馏到小模型，这种方法可直接用于生成式推荐中的query/文案优化：先由大模型提供候选，再通过在线A/B或模拟环境筛选，最后蒸馏到轻量策略。
- 共形预测实现安全拒绝：训练一个改进头预测干预收益，再用共形预测校准阈值，当分布外时拒绝语言引导，退回原始指令。这种“无害优先”的安全机制可以应用到风险敏感的电商Agent中，如仅在高置信度下进行动态价格推荐或主动营销。
- 闭环语言反馈的恢复行为：与一次性改写指令不同，闭环语言策略能根据环境状态实时调整语言，实现错误恢复。在对话式推荐或多步Agent协作中，实时反馈和状态适应是提升任务完成率的关键。
带有动作条件保证的共形风险规避决策
🧭 共形预测与风险规避决策
引入动作条件共形预测，为每项决策动作提供显式安全保证，提升风险规避决策可靠性
📌 工作参考价值（4 点）
- 推荐系统中的 risk-averse 场景（如高价值用户触达、推送时机选择）可借鉴动作条件保底思想：对每个候选动作（推送/不推送）单独构建共形预测集，避免因边际保证导致某些动作下风险失控。
- 多智体动作选择中，可为每个 agent 的动作输出附带安全区间，防止某个动作因不确定性极高而拖垮整体收益，尤其适合电商广告自动出价等需要逐动作风险控制的决策。
- 工程实现上 pinball loss 最小化为共形预测提供了一种无需重训练的有限样本算法，可直接集成到现有 ML pipeline 的后处理中，降低落地成本。
- 在生成式推荐的候选集过滤阶段，用动作条件的 coverage 保证替代全局 top-k 截断，能提升对长尾商品/新商品的探索安全性，平衡收益与风险。
推理轨迹前缀的保形认证
🧭 推理可靠性 · 保形风险控制 ★ 深度解读
Rice University
提出 CROP 方法，为推理步骤序列提供前缀污染风险的有限样本边际控制，保留有效中间推理以提升下游修复
📌 工作参考价值（4 点）
- 在多步 Agent 决策中，可用 CROP 对已执行的步骤序列进行风险认证，返回风险可控的“安全前缀”，将剩余步骤交给人工审查或更高精度的修复模块，避免全盘回滚。
- 生成式推荐（GenRec）在生成物品序列（如购物车推荐）时，可以用类似前缀认证思路，将生成过程按步骤拆分，用 process reward model 标注风险，仅保留低风险前缀再继续生成，提高推荐列表的整体可信度。
- 工程实现上，CROP 是 verify-agnostic 的轻量校准层，只需将任意步骤级风险评分（PRM、logits、heuristics）输入即可获得保形保证，可直接插入现有的 LLM 推理管线，无需修改模型。
- 实验揭示了“步骤 AUROC 高 ≠ 前缀实用性好”这一重要现象，可迁移至电商搜索排序中：离线排序指标（如 AUC）可能无法反映线上截断位置的效用，评估应直接面向最终截断策略校准。
暂停与反思：思维链推理的共形聚合
🧭 Reasoning
用加权分数聚合与共形风险控制，在有限样本保证下控制自信错误率并提升选择性准确率